Maximum Likelihood

어떤 평균값을 갖는 확률밀도로 부터 이 샘플들이 추출되었을까?

이 샘플링 된 값들은 어떤 확률 분포에서 추출되었을 가능성이 높을까?
Pasted image 20250317134349.png

Likelihood Function (수학적 표현)

P (x | θ) = \prod_{k = 1}^{n} P (x_{k} | θ)

여기서 $x$ 는 관찰값, $θ$ 는 어떠한 확률 분포 (혹은 모델?)이라고 생각하면 된다.
그니깐 주어진 $θ$ 에 대해서, 실제로 관찰된 $x_{k}$ 의 관찰값들이 과연 $θ$ 라는 확률분포에서 나왔을 가능성을 계산하는 것이다.

주로 로그를 씌워서 likelihood를 표현한다.

L (θ | x) = l o g P (x | θ) = \sum_{i = 1}^{n} l o g P (x_{i} | θ)

주목할 점은, log를 씌움으로써 $\prod$ 가 $\sum$ 형태가 된 것이다. 훨씬 연산하기 쉬워진다는 것이다.

위의 log likelihood에 음수를 취한 값. 그러면 최대화가 아닌 최소화 문제가 되기 때문에, loss에서 이 negative log likelihood를 최소화하는 방향으로 학습이 진행된다.